联合学习是一种分布式的机器学习方法，其中单个服务器和多个客户端在不共享客户端数据集的情况下协作构建机器学习模型。联合学习的一个具有挑战性的问题是数据异质性（即，数据分布在客户端可能有所不同）。为了应对这个问题，众多联合学习方法旨在为客户提供个性化的联合学习，并为客户建立优化的模型。尽管现有研究通过经验评估了自己的方法，但这些研究中的实验环境（例如比较方法，数据集和客户设置）彼此不同，目前尚不清楚哪种个性化的联邦学习方法可以实现最佳性能，以及取得多少进展，可以进行多大进展。通过使用这些方法而不是标准（即非个人化）联合学习来制作。在本文中，我们通过全面的实验基准了现有的个性化联合学习的性能，以评估每种方法的特征。我们的实验研究表明，（1）没有冠军方法，（2）大数据异质性通常会导致高准确的预测，并且（3）具有微调的标准联合学习方法（例如FedAvg）通常超过了个性化的联邦学习方法。我们为研究人员开放基准工具FedBench，以通过各种实验环境进行实验研究。

Classification bandits are multi-armed bandit problems whose task is to classify a given set of arms into either positive or negative class depending on whether the rate of the arms with the expected reward of at least h is not less than w for given thresholds h and w. We study a special classification bandit problem in which arms correspond to points x in d-dimensional real space with expected rewards f(x) which are generated according to a Gaussian process prior. We develop a framework algorithm for the problem using various arm selection policies and propose policies called FCB and FTSV. We show a smaller sample complexity upper bound for FCB than that for the existing algorithm of the level set estimation, in which whether f(x) is at least h or not must be decided for every arm's x. Arm selection policies depending on an estimated rate of arms with rewards of at least h are also proposed and shown to improve empirical sample complexity. According to our experimental results, the rate-estimation versions of FCB and FTSV, together with that of the popular active learning policy that selects the point with the maximum variance, outperform other policies for synthetic functions, and the version of FTSV is also the best performer for our real-world dataset.

Deformable registration of two-dimensional/three-dimensional (2D/3D) images of abdominal organs is a complicated task because the abdominal organs deform significantly and their contours are not detected in two-dimensional X-ray images. We propose a supervised deep learning framework that achieves 2D/3D deformable image registration between 3D volumes and single-viewpoint 2D projected images. The proposed method learns the translation from the target 2D projection images and the initial 3D volume to 3D displacement fields. In experiments, we registered 3D-computed tomography (CT) volumes to digitally reconstructed radiographs generated from abdominal 4D-CT volumes. For validation, we used 4D-CT volumes of 35 cases and confirmed that the 3D-CT volumes reflecting the nonlinear and local respiratory organ displacement were reconstructed. The proposed method demonstrate the compatible performance to the conventional methods with a dice similarity coefficient of 91.6 \% for the liver region and 85.9 \% for the stomach region, while estimating a significantly more accurate CT values.

Understanding the dynamics of a system is important in many scientific and engineering domains. This problem can be approached by learning state transition rules from observations using machine learning techniques. Such observed time-series data often consist of sequences of many continuous variables with noise and ambiguity, but we often need rules of dynamics that can be modeled with a few essential variables. In this work, we propose a method for extracting a small number of essential hidden variables from high-dimensional time-series data and for learning state transition rules between these hidden variables. The proposed method is based on the Restricted Boltzmann Machine (RBM), which treats observable data in the visible layer and latent features in the hidden layer. However, real-world data, such as video and audio, include both discrete and continuous variables, and these variables have temporal relationships. Therefore, we propose Recurrent Temporal GaussianBernoulli Restricted Boltzmann Machine (RTGB-RBM), which combines Gaussian-Bernoulli Restricted Boltzmann Machine (GB-RBM) to handle continuous visible variables, and Recurrent Temporal Restricted Boltzmann Machine (RT-RBM) to capture time dependence between discrete hidden variables. We also propose a rule-based method that extracts essential information as hidden variables and represents state transition rules in interpretable form. We conduct experiments on Bouncing Ball and Moving MNIST datasets to evaluate our proposed method. Experimental results show that our method can learn the dynamics of those physical systems as state transition rules between hidden variables and can predict unobserved future states from observed state transitions.

了解用户的意图并从句子中识别出语义实体，即自然语言理解（NLU），是许多自然语言处理任务的上游任务。主要挑战之一是收集足够数量的注释数据来培训模型。现有有关文本增强的研究并没有充分考虑实体，因此对于NLU任务的表现不佳。为了解决这个问题，我们提出了一种新型的NLP数据增强技术，实体意识数据增强（EADA），该技术应用了树结构，实体意识到语法树（EAST），以表示句子与对实体的注意相结合。我们的EADA技术会自动从少量注释的数据中构造东方，然后生成大量的培训实例，以进行意图检测和插槽填充。四个数据集的实验结果表明，该技术在准确性和泛化能力方面显着优于现有数据增强方法。

自然语言推理（NLI）和语义文本相似性（STS）是广泛使用的基准任务，用于对预训练的语言模型进行组成评估。尽管对语言普遍性的兴趣越来越大，但大多数NLI/STS研究几乎完全集中在英语上。特别是，日语中没有可用的多语言NLI/STS数据集，它在类型上与英语不同，并且可以阐明语言模型当前有争议的行为，例如对单词顺序和案例粒子的敏感性。在此背景下，我们介绍了日本NLI/STS数据集Jsick，该数据集是从英语数据集病中手动翻译的。我们还提出了一个用于组成推断的应力测试数据集，该数据集是通过转换JSick中句子的句法结构来研究语言模型是否对单词顺序和案例粒子敏感的。我们在不同的预训练语言模型上进行基线实验，并比较应用于日语和其他语言时多语言模型的性能。应力测试实验的结果表明，当前的预训练的语言模型对单词顺序和案例标记不敏感。

众所周知，深度神经网络（DNNS）通过特别注意某些特定像素来对输入图像进行分类。对每个像素的注意力的图形表示称为显着图。显着图用于检查分类决策基础的有效性，例如，如果DNN对背景而不是图像的主题更加关注，则它不是分类的有效基础。语义扰动可以显着改变显着性图。在这项工作中，我们提出了第一种注意鲁棒性的验证方法，即显着映射对语义扰动的组合的局部稳健性。具体而言，我们的方法确定了扰动参数的范围（例如，亮度变化），该参数维持实际显着性映射变化与预期的显着映射图之间的差异低于给定的阈值。我们的方法基于激活区域遍历，重点是最外面的鲁棒边界，以在较大的DNN上可伸缩。实验结果表明，无论语义扰动如何，我们的方法都可以显示DNN可以与相同基础进行分类的程度，并报告激活区域遍历的性能和性能因素。

婴儿对一般运动（GM）的评估是早期诊断神经发育障碍的有用工具。但是，其在临床实践中的评估依赖于专家的视觉检查，并且热切期待自动解决方案。最近，基于视频的GMS分类引起了人们的注意，但是这种方法将受到无关信息的强烈影响，例如视频中的背景混乱。此外，为了可靠性，有必要在GMS期间正确提取婴儿的时空特征。在这项研究中，我们提出了一种自动GMS分类方法，该方法由预处理网络组成，该网络从GMS视频中删除不必要的背景信息并调整婴儿的身体位置以及基于两流结构的后续运动分类网络。提出的方法可以有效地提取GMS分类的基本时空特征，同时防止过度拟合与不同记录环境无关的信息。我们使用从100名婴儿获得的视频验证了提出的方法。实验结果表明，所提出的方法的表现优于几个基线模型和现有方法。

分布式推理（DI）框架已经获得了牵引力作为用于实时应用的技术，用于在资源受限的内容（物联网）设备上的尖端深机学习（ML）。在DI中，计算任务通过IOT设备通过有损的物联网网络从物联网设备卸载到边缘服务器。然而，通常，在通信延迟和可靠性之间存在通信系统级权衡;因此，为了提供准确的DI结果，需要一种可靠和高等待的通信系统来调整，这导致DI的不可忽略的端到端潜伏期。这激励我们通过ML技术的努力来改善通信延迟与准确性之间的权衡。具体而言，我们提出了一种以通信为导向的模型调谐（ComTune），其旨在通过低延迟但不可靠的通信链路实现高度精确的DI。在Comtune中，关键的想法是通过应用辍学技术的应用来微调不可靠通信链路的效果。这使得DI系统能够针对不可靠的通信链路获得鲁棒性。我们的ML实验表明，ComTune使得能够以低延迟和有损网络在低延迟和损失网络下准确预测。

基于治疗期间的单投影图像的器官形状重建具有广泛的临床范围，例如在图像引导放射治疗和手术指导中。我们提出了一种图形卷积网络，该网络实现了用于单视点2D投影图像的3D器官网格的可变形登记。该框架使得能够同时训练两种类型的变换：从2D投影图像到位移图，以及从采样的每周顶点特征到满足网格结构的几何约束的3D位移。假设申请放射治疗，验证了2D / 3D可变形的登记性能，用于尚未瞄准迄今为止，即肝脏，胃，十二指肠和肾脏以及胰腺癌的多个腹部器官。实验结果表明，考虑多个器官之间的关系的形状预测可用于预测临床上可接受的准确性的数字重建射线照片的呼吸运动和变形。